# -*- coding: utf-8 -*-
import scrapy
from scrapy_redis.spiders import RedisSpider
from copy import deepcopy
import urllib.request

class DangdangSpider(RedisSpider):
    name = 'dangdang'
    allowed_domains = ['dangdang.com']
    # start_urls = ['http://book.dangdang.com/']    如果写了start_urls，每台电脑都会有，那么这个url就会被请求多次，导致重复

    redis_key = "dangdang"  #只是个键的名字，到时候插入redis的时候插入正确的网址即可

    def parse(self, response):
        #大分类分组
        div_list = response.xpath('//div[@class="con flq_body"]/div')
        for div in div_list:
            item = {}
            # item["b_cate"] = div.xpath('./dl/dt/span//text()').extract()    #错误原因：response中没有span
            item["b_cate"] = div.xpath('./dl/dt//text()').extract()    #父子结点之间有——换行符和空格
            #这个操作也可以放在pipeline中处理
            item["b_cate"] = [i.strip() for i in item["b_cate"] if len(i.strip())>0]    #避免某些空白字符被去除之后变成空字符串（存在于列表当中）

            #中间分类分组
            dl_list = div.xpath('./div/div/div/dl')
            for dl in dl_list:
                # item["m_cate"] = dl.xpath('./dt/a/text()').extract_first()    ——错误原因：（注意4）有的地方没有a标签
                # item["m_cate"] = dl.xpath('./dt//text()').extract_first()   #换行符和内容是连在一起的，所以还是可以写extract_first()
                item["m_cate"] = dl.xpath('./dt//text()').extract() #可能存在换行符，不能写extract_first()
                item["m_cate"] = [i.strip() for i in item["m_cate"] if len(i.strip()) > 0]

                #小分类分组
                a_list = dl.xpath('./dd/a')
                for a in a_list:
                    item["s_cate"] = a.xpath('./@title').extract_first()
                    item["s_href"] = a.xpath('./@href').extract_first()
                    if item["s_href"] is not None:
                        yield scrapy.Request(
                            item["s_href"],
                            callback=self.parse_book_list,
                            meta={"item":deepcopy(item)}
                        )

    def parse_book_list(self,response):
        item = deepcopy(response.meta["item"])
        li_list = response.xpath('//div[@id="search_nature_rg"]/ul/li')
        for li in li_list:
            item["img"] = li.xpath('./a/img/@src').extract_first()
            if item["img"] == 'images/model/guan/url_none.png':
                item["img"] = li.xpath('./a/img/@data-original').extract_first()
            item["name"] = li.xpath('./p[@class="name"]/a/text()').extract_first()
            item["detail"] = li.xpath('./p[@class="detail"]/text()').extract_first()
            item["price"] = li.xpath('./p[@class="price"]/span[@class="search_now_price"]/text()').extract_first()
            if item["price"] is None:
                item["price"] = li.xpath('.//p[@class="price e_price"]/span/text()').extract_first()
            # item["author"] = li.xpath('./p[@class="search_book_author"]/span[1]//text()').extract()   对比了一下，这样写最好
            item["author"] = li.xpath('./p[@class="search_book_author"]/span[1]/a[1]/@title').extract_first()
            item["publish_date"] = li.xpath('./p[@class="search_book_author"]/span[2]/text()').extract_first()
            item["press"] = li.xpath('./p[@class="search_book_author"]/span[3]/a/text()').extract()
            print(item)

        #翻页
        next_url = response.xpath('//a[@title="下一页"]/@href').extract_first()
        if next_url is not None:
            next_url = urllib.request.urljoin(response.url,next_url)
            yield scrapy.Request(
                next_url,
                callback=self.parse_book_list,
                meta={"item":response.meta["item"]}
            )


"""
注意1：
    redis中客户端输入起始网址命令：
        127.0.0.1:6379> lpush dangdang 'http://book.dangdang.com/'
        (integer) 1
注意2：时刻注意elements的内容在response（network/源文件）中是否对应
注意3：
<dl class='inner_dl' ddt-area="5360" dd_name="弹出层3">
        
     <dt>        
                按内容选书                        
        </dt> 
        <dd> 
        
注意4：cmd查看IP地址：ipconfig  

无线局域网适配器 WLAN:

   连接特定的 DNS 后缀 . . . . . . . :
   本地链接 IPv6 地址. . . . . . . . : fe80::7970:5652:af37:f7ba%3
   IPv4 地址 . . . . . . . . . . . . : 192.168.31.41(这个就是)
   子网掩码  . . . . . . . . . . . . : 255.255.255.0
   默认网关. . . . . . . . . . . . . : 192.168.31.1              
"""

